Phu nhân là bà Vi Kim Ngọc con gái của nguyên Tổng đốc Thái Bình Vi Văn Định. Ông bà có với nhau 4 người con:

1. Nguyễn Kim Nữ Hạnh (1937-2010), hay Nguyễn Kim Hạnh, nguyên kỹ sư thông tin của Tổng cục Đường sắt, tác giả cuốn hồi ký "Tiếp bước chân cha".
2. Nguyễn Kim Bích Hà, hay Nguyễn Bích Hà, Phó giáo sư, Tiến sĩ hóa học, Hiệu trưởng Trường dân lập Nguyễn Văn Huyên (Hà Nội)
3. Nguyễn Kim Nữ Hiếu, Đại tá, Phó giáo sư, Tiến sĩ y khoa, Thầy thuốc nhân dân, nguyên Phó giám đốc Bệnh viện Trung ương Quân đội 108. Chồng bà là GS. TS Nhà giáo Nhân dân Nguyễn Lân Dũng.
4. Nguyễn Văn Huy, Giáo sư, Tiến sĩ, nguyên Giám đốc Bảo tàng Dân tộc học Việt Nam.